Compiling Machine Learning to WASM and WebGPU with Apache TVM

We introduced support for WASM and WebGPU to the Apache TVM deep learning compiler. Our experiments shows that TVM’s WebGPU backend can get close to native GPU performance when deploying models to the web.

https://github.com/apache/tvm/pull/5506

WebGL

compute shaderなどがない

そこでWebGPU

TVM

WASM

ホストで動くランタイム

emscriptenで、WASI likeなライブラリを生成して、mallocなどをよべるように

https://github.com/emscripten-core/emscripten/issues/11075

カーネルを呼ぶ → jsにcallbackしてそこからwebgpuを呼ぶ

WebGPU

カーネル

SPIR-Vのcompute shaderを生成

データコピーは無視して、純粋な推論部分のベンチマーク

https://tvm.apache.org/images/webgpu/webgpu-mobilenet-perf.png